Stochastic Linear Contextual Bandits with Bounded Noise: A Set-Membership Approach
有界噪声下的随机线性上下文老虎机：一种集合成员估计方法
🧭 在线决策 · 遗憾界改进
University of Illinois Urbana-Champaign
利用奖励噪声有界性提出 SME-OFU 算法，将遗憾界从 O(√T) 降至 O(log T)
📌 工作参考价值（3 点）
- 推荐系统中点击、转化等反馈天然有界（[0,1]），可假定噪声有界，比次高斯假设更强，理论上能获得更低遗憾。实践中可考虑在置信区间构建时利用边界信息，例如采用截断或基于集合估计的不确定性量化，替代通常的 Hoedffding 不等式。
- 集合成员估计（SME）提供一种非概率的置信集构造方式，可尝试替代传统岭回归置信椭球，特别适合对噪声分布缺乏先验但对边界明确的场景（如转化率预测）。工程实现上，SME 本质上维护一个参数可行集，可通过线性不等式约束求解，复杂度可控。
- 该算法的 UCB 形式（SME-OFU）求解一个凸优化问题，可通过投影梯度或凸包近似处理。在推荐系统的在线学习模块中，可借鉴其乐观选择策略：在可行参数集中选择最大化奖励且满足信息约束的动作，以加速冷启动收敛。